从GelSight说开去：有关视触觉传感器的随想

GelSight是基于视觉的触觉传感器里名气最大的一款。其由MIT的Adelson教授领导开发，在2009年发表了原型GelSight的论文[1]。到了2016，2017两年，又有数名MIT博士以研究改进GelSight毕业，其中包括目前在CMU机器人研究所工作的Yuan Wenzhen博士[2]；还有很多其他学生都用这款传感器做出了很多不错的成果，如2020年IROS最佳论文SwingBot[3]，其两个共一，一个是清本MIT博Wang Shaoxiong，一个是上交本Standard博Wang chen，两人都非常优秀。近年来GelSight团队也在积极做成果转化，成立了同名公司[4]，售卖GelSight, DIGIT, GelSight mini等类GelSight产品；在售卖硬件产品的同时，也有做一些配套的软件代码支持，如gsrobotics[5]。

GelSight的原理并不复杂，由“Gel”和“Sight”组成。Gel，凝胶头，即传感器的弹性表面，用来模仿人的皮肤，不像其他硬质触觉传感器那么生硬，所以GelSight也算是半个柔性触觉传感器。Sight，视觉，即传感器的内置摄像头。通过摄像头捕获凝胶头在接触后发生的变化，以此作为触觉信息的分析母体，通过弹性力学，计算机视觉等方法建立图片到触觉信息的映射关系。

触觉信息是非常丰富的，包括硬度，纹理，温度，压力，滑移等等，人类小小的手指能够实时精确且高密度地捕获处理这么多方面的信息，实在是令人叹为观止。基于电阻的触觉传感器，基于磁场的触觉传感器，基于电容的触觉传感器……但可惜无论哪种原理，都很难做到多面感知，只能“择其需要而改良之”。视触觉传感器，同样如此。为了提高自己在力/力矩检测方面的能力，想到了在凝胶头里打marker点，通过捕获marker点的位移来预测合力/力矩或是力场[6]；为了获得温觉，想到了把在凝胶头中添加温敏材料，在温度不同时展现不同的颜色[7]；为了提高3D建模能力和力/力矩的检测能力，还想到了一个摄像头拍照不够用，我们用两个或者更多个摄像头来拍照[8][9]；还有人提出离散的标记点不好用，我们不妨改成连续的标记点[10]……类似的改进还有很多很多，这些改进都在不断拓展视触觉传感器的应用边界，也在丰富着人类在触觉感知方面的数据库和技能树。

回看历史，事实上早在2004年就有日本东京大学的团队做过类似的工作（GelForce）[11]，当时还给出了理论推导的结果，当时为了解决理论方程不可解的问题，还巧妙地设计两层标记点，让方程数大于未知量的个数，后来该团队还不断改进，给出了基于测试点校准转移矩阵的方法。[12]

第一次完整介绍GelSight的原理及应用的，应该数Yuan Wenzhen博士于2017年发表在Sensors上的那篇“GelSight: High-Resolution Robot Tactile Sensors for Estimating Geometry and Force”[13]。此后基于视觉的触觉传感器逐渐成为一个热门的研究方向，有很多团队都在类似的原理上改进创新，制作自家的传感器：如加州伯克利的OmniTact[14], Facebook公司的DIGIT[15][16]，GelSight的姊妹GelSlim系列[17]，德国马普所的Insight[18]，香港科技大学的FingerVision[19]，中科院自动化所的GelStereo[8]，瑞士苏黎世联邦理工学院自研的机器人皮肤[20]等等。由于各式各样的触觉传感器的被设计，被制造出来，为了统一软件接口，还有了Pytouch包[21]；为了加速触觉感知模型的训练，还有团队开发出了仿真器/模拟器[22][23]。

某种程度上说，正是以计算机视觉领域为代表的深度学习的迅猛发展，才带动了“计算机触觉/机器触觉”这个领域的建立与成长。以GelSight为代表的触觉传感器，将触觉任务转换成了视觉任务，在自研的设备上收集大量数据，之后并使用深度学习作为主要方法，此时再结合一些传统的计算机视觉的方法，尝试从一张一张图片中提取特征，分析特征，输出触觉中的所有信息。不能说这是投机取巧，这是一种转化与划归的智慧。另外，同样值得注意的是，由于触觉视觉化，这为视触融合的机器人灵巧操作提供了捷径：既然都是图片信息，那么就可以放在统一个的一个模型中去训练，去测试，从这个角度出发，应该已经做出了许多非常漂亮的成果。

不过不得不承认的是，视触觉传感器对视觉技术的调用和迁移还停留在早期阶段。如果可以类比计算机视觉的发展脉络的话，触觉依次还有三个层次的任务有待突破：

1. 触觉设备的统一。现在各家都有自研触觉传感器，有些是一个摄像头，有些是多个摄像头；有些是离散点，有些是连续点；有些凝胶头是这个材质，有些凝胶头是那个材质；有些摄像头到凝胶头是5cm，有些摄像头到凝胶头是10cm，有些还用镜子反射一下再拍照，这个过程中摄像头的分辨率又不一样。那么，比如在硬度的测量上，不同材质的凝胶头对同一硬度下的接触必然形变不同；再比如在3D建模恢复和力测量两个任务上，按压的深浅会直接决定输出的结果，而你有的模糊有的清晰，有的距离远有的距离近，在深浅的测量上会出现严重的偏差。这些都会限制决策模型的开发。那么为什么视觉中没有这个问题？为什么没有人说让全世界的摄像头都统一？因为视觉不需要。视觉中存有特征不变性，而触觉特征用视觉表征后，并不是所有特征都能直接继承不变性。或者说，触觉用视觉表达，信息是有损的。

2. 触觉ImageNet的建立。假设能够统一视触觉传感器，或者说在部分特征上实现了视触觉传感器的统一，那么在这之后，便会在一个标准下，会有人建立起触觉的ImageNet数据集。有各种各样的物体，以各种各样的角度，力度，位置按压在传感器之上，打好力，温度，硬度等等各种维度的标签，贡献出来让大家去刷点竞赛。

3. 触觉大模型的建立。人工智能近几年流行的信条是：The larger, The better. 大语言模型如GPT4.0已经充分验证了这一点。视觉中也逐渐有了类似的工作，就比如Segment Anything Model。触觉也会建立一个大决策模型，local到自家传感器上再微调一下就能用。

如果，能按照这个路线走完了，我们可以拍着胸脯说，ok，触觉is finished。但是，类比计算机视觉的发展难免有一种刻舟求剑之感。触觉似乎不太可能一直循着视觉的路走，因为上述第一条就很难做到。触觉的模态是更为多样的，以图片来表征触觉有时是不完备的，甚至是互斥的；在人类的日常生活中，触觉承担的任务也与视觉承担的任务有着根本性的不同，不能简单的用视觉模型迁移到触觉模型中使用。

所以未来想实现真正的触觉智能，在触觉上展示类人(like-humans)甚至超人(over-humans)的一般的结果，走向embodied AI，学界中也有一些其他有前景的方案。如：

1.触觉的仿生感知。GelSight等一众传感器对触觉信息的提取方法，从本质上说，不是靠“摸”，还是靠“看”。也就是说，GelSight还是没有直面触觉，与生命体对触觉的感知机理相去甚远。这一点上说，GelSight走了捷径，但也定了上限。如果说解构大脑能指引人工智能走向下一个阶段，那么解构皮肤才是触觉传感的指路明灯[24]。也已经存有了仿皮肤结构的一些优秀工作[25]。或者更有想象力一点的说，仿生层和视觉层可以联合起来，表面皮肤用仿生的方式构建，底层仍然保留一部分的视觉层来辅助，这或许也会在各方面的精度上有所提升。

2. 触觉的强化感知。触觉智能的根本要求是从“感知”到“认知”。如果这二者之间有过渡带，那么强化感知可能是其中一条路。所谓的强化感知，是指建立动态的，增量的感知模型（如动态图神经网络），编码触觉的多模态信息，之后从接触级，物品级，动作级三个级别去理解触觉信息[26]。以一个简单例子来说，我第一次摸到了纸币上的盲文，别人告诉我这是多少钱，我就记住了；之后我每次摸到这个盲文我都能知道手里的纸币是多少钱。也就是说，对于人脑，触觉信息有编码，归类，检索并不断强化的过程，这一点用现在的静态模型，或是大模型+微调的技术路线恐怕都是难以实现的。